Dương Tố xuất thân trong gia đình sĩ tộc. Ông nội là Dương Huyên, là Phụ Quốc Tướng quân dưới triều Bắc Ngụy, cha là Dương Phu, làm Thứ sử Phần Châu của Bắc Chu. Dương Tố lúc còn nhỏ rất cởi mở và có chí lớn, giỏi văn chương, làm Ký thất cho quan Thượng thư Bộ Lại Vũ Văn Hộ nhà Bắc Chu. Thời Bắc Chu Vũ Đế (Vũ Văn Ung) nhậm chức Tư Thành Đại phu, Xa Kỵ Tướng quân. Trong chiến dịch bình định nước Tề, ông lập được chiến công, được gia phong Thượng khai phủ, sau lại phong là Thành An Huyện Công, thực ấp có 1500 hộ.

Khi phò nhà Tùy, do có tham gia với Dương Kiên đoạt quyền nên càng được tin dùng. Do có công lao diệt nhà Trần nên được phong Thượng trụ quốc, Việt Quốc công.Năm Khai Hoàng thứ 10 9 (590), do có công bình định được thế lực phản Tùy ở Kinh Châu và Giang Nam nên được thăng Thượng thư Tả bộc xạ, nắm giữ triều chính. Phe của Dương Tố phò Tấn Vương Dương Quảng, tham dự âm mưu bí mật của cung đình, phế Thái tử Dương Dũng, xúi giục Dương Quảng giết cha đoạt ngôi, sự việc thành công, ông ta được phong Sở Quốc Công, quan đến Tư đồ, quyền thế ngày một tăng.

Dương Tố tham lam tiền của, ra sức vun đắp gia sản, ở Đông Kinh, Tây Kinh đều có phủ đệ, hết sức xa xỉ. Lại còn chiếm đất mở rộng nhiều ruộng vườn nhà cửa, phân bố cả nghìn nơi ở các châu huyện. Năm Đại Nghiệp thứ 2 (606) thì bị bệnh chết. Năm Đại Nghiệp thứ 9 (613), con ông là Lễ bộ Thượng thư Dương Huyền Cảm dấy binh làm phản lại nhà Tùy, thất bại, cả nhà bị chém.